generator 和 discriminator相互博弈:
(D和G的博弈训练, 图片来自于“李宏毅 深度学习”)
Minimax Game:
目前,Tensorflow 1.4已经提供了一些gan的实现,在tf.contrib.gan中;另外,有很多开源的GAN的实现。(示例略)
样本实例集合:
利用最大似然(ML), 求解判别模型:
对于GAN而言,某种程度上,D是h:
事实上,训练判别器D的过程,正是使用ML求解二分类问题:
(同样的思想,有“NCE”, “negative sampling”)
未知的真实分布:
样本实例集:, 采样自
假设空间中的生成模型:来模拟
根据ML原则:
(GAN的完整训练过程。图片来自于“李宏毅 深度学习”课程)
(Ian Goodfellow, 在原始论文中改训练G为, 这个训练目标是从收敛的角度来考虑的)
(生成模型的分类树。图片来自于“Ian GoodFellow 的NIPS2016 GAN tutorial ”)
那么能否在GAN的框架下,将ML与原始GAN统一起来?能否使用其它的概率距离度量?
定义:
事实上,Fenchel Conjugate定义了“斜率(梯度)到截距”的一种映射
当固定,
, 通过对x求导得到:
重要的是,上述映射关系的对偶性质!
按需挑选不同的f-divergency:
(不同的f-divergency对应的GAN, 图片来自于论文 f-GAN)
理想情况:D 指导往真实分布
(dashed)运动
实际情况:D训练越好,完美区分,梯度消失,无指导能力
考虑”parallel lines distribution”, 二维分布,
:
Discriminator D往往能将完美分开
定义:对于概率分布P,Q,average distance of a plan :
(Moving Plan, 图片来自于“李宏毅 深度学习”)
在上面的parallel line distribution例子里,
论文中证明,当我们采用Earth Mover’s Distance来度量距离,相应的GAN形式如下(Kantorovich-Rubinstein duality, 来自论文“Optimal Transport: Old and New”):
improved WGAN
wgan:
“In no experiment did we see evidence of mode collapse for the WGAN
algorithm”
ensemble of GANs
(cascade ensemble 示意图,来自“李宏毅 深度学习”)
| Modify the optimization of GAN | Different structure from the original GAN |
|---|---|
| fGAN | Conditional GAN |
| WGAN | Semi-GAN |
| Least-square GAN | InfoGAN |
| Loss Sensitive GAN | BiGAN |
| Energy-based GAN | Cycle GAN |
| Boundary-Seeking GAN | IRGAN |
| Unroll GAN | VAE GAN |
| … | … |